CC BY
252
С. Е. Дубровская
ОЦЕНОЧНЫЕ ИССЛЕДОВАНИЯ
КАК НАПРАВЛЕНИЕ В ПРИКЛАДНОЙ СОЦИОЛОГИИ
Стратегия оценочных исследований начала развиваться в США в 60-е годы ХХ в. М. К. Паттон отмечет, что появление оценочных исследований как особой профессиональной деятельности было результатом двух важных уроков. Во-первых, денежных ресурсов всегда недостаточно, чтобы достичь решения всех социальных проблем. Во-вторых, даже если бы их и было в избытке, комплексность и сложность социальных проблем не устраняется только за счет материальных ресурсов [1]. Изначально данная стратегия была направлена на оценку эффективности программ в первую очередь в сфере образования и здравоохранения. В дальнейшем оценочные исследования стали особой сферой деятельности, включающей в себя в качестве объекта не только программы, но, по сути, любую деятельность, связанную с решением проблем, как в социальной сфере, так и в отдельных организациях.
В данной статье мы рассмотрим основные характеристики оценочных исследований, их типологию и особенности дизайна исследования с точки зрения социологической практики.
Оценочные исследования — это исследования, целью которых является сбор и анализ информации на основе методов социальных наук; исследования, направленные на анализ программ с точки зрения их необходимости, эффективности и достигаемых результатов.
Как и для других стратегий исследования, здесь можно выделить ряд основных характеристик, присущих оценочным исследованиям:
1) систематичность — опирается на систему правил и принципов сбора и анализа информации;
2) эмпирическая направленность — анализ и выводы опираются на информацию, полученную в результате эмпирических исследований, с применением методов социологического исследования;
3) научность — логика исследования строится на основе изучения закономерностей, которые дают знания о событиях и их наиболее вероятных последствиях;
4) индуктивный характер — в рассматриваемом случае методология исследования предполагает его построение от частного к общему;
5) объяснения — в данном случае исследователей в первую очередь интересует поиск объяснения, которое может помочь точнее понять проблемы и явления;
6) специфичность — выделение и анализ наиболее важных и характерных переменных;
7) повторяемость и валидность исследования.
Одним из важнейших принципов исследования является его систематичность. В рамках стратегии оценочных исследований этот принцип реализуется в тщательной проработке этапов исследования и их последовательной реализации. Также важно отметить, что оценочные исследования отличаются комплексностью и строгостью
© С. Е. Дубровская, 2010
подхода, так как направлены на решение жизненно важных социальных проблем. Поэтому в данном случае важным отличительным признаком исследования является его командный характер.
В рамках оценочных исследований затрагивается широкий круг проблем и вопросов. Однако можно выделить и некоторые общие черты, характерные для проблем, оказывающихся в центре внимания при проведении оценочных исследований.
1. Вопросы, связанные с разработкой социальной программы
В этом случае исследователя в первую очередь интересуют вопросы, касающиеся начальной стадии разработки программы. Изначально важно оценить перспективы, связанные с программой. Для этого необходимо собрать данные о той социальной группе, на которую программа будет ориентироваться. По сути, в данном случае мы имеем дело преимущественно с диагностическим типом исследования, в ходе которого важно выяснить ряд вопросов, которые можно объединить по блокам:
Блок 1. Кому программа будет предназначена?
1) Состав данной группы с точки зрения ее численности и социально-демографических характеристик.
2) Потребности и нужды данной группы.
3) Мероприятия, которые в максимальной степени могут удовлетворить данные потребности.
4) В ряде случаев важными являются данные географического характера.
Данный блок вопросов должен быть организован так, чтобы данные исследования
дали четкое представление о том для кого, в какие сроки и в каких масштабах будет работать данная программа. Также важно определить систему мероприятий и мер, составляющих основное содержание данной программы.
Блок 2. Какие ресурсы необходимы для данной программы?
1) Определение основных источников и способов финансирования программы: возможность бюджетного финансирования, поиск фондов, оказывающих грантовую поддержку и т. п.
2) Оценка персонала, необходимого для работы в данной программе, с точки зрения квалификации и опыта.
3) Определение необходимых материально-технических ресурсов для успешного функционирования программы.
4) Оценка временных параметров программы: определение сроков функционирования программы в целом и отдельных ее этапов.
Основным результатом сбора и анализа информации по данному блоку должно стать описание модели управления программой с четкой структурой и функциями всего персонала, привлеченного к работе по проведению мероприятий, которые составляют содержательный стержень самой программы.
Блок 3. Каким должен быть результат программы?
1) Определение и оценка целевого блока программы с точки зрения возможных результатов.
2) Планирование сроков появления результатов и предположения о сроках проявления эффектов от проведения программы.
3) Разработка способов измерения и оценки результатов и эффектов программы.
Оценочные исследования, нацеленные на разработку социальной программы и на оценку ее реализации на начальных этапах, получили название проспективные оценочные исследования.
2. Вопросы, связанные с реализацией программы
Данные исследования имеют дело с уже существующими и действующими программами. На этом этапе внимание исследователей сосредоточивается на процессе решения проблем. Основной акцент переносится с самой проблемы на процесс реализации решений, направленных на улучшение или разрешение ситуации. Здесь также можно выделить два блока вопросов, с которыми имеет дело исследователь.
Блок 1. Насколько эффективно реализуется программа?
1) Определение уровня компетентности персонала и специалистов, занятых в реализации программы.
2) Определение эффективности использования ресурсов на этапах реализации программы.
3) Определение эффективности проводимых мер и их возможная доработка и т. д.
Эти вопросы тесно связаны с аспектами практической реализации разработанной
программы. Важность данного сопровождения обусловлена тем, что даже тщательная проработка и планирование программы являются высоким, но не абсолютным гарантом ее успешной реализации. Воплощение программы всегда требует внимания к конкретным условиям, в которых она будет воплощена.
Блок 2. Насколько предпринимаемые меры способствуют решению социальной проблемы?
1) Определение степени вовлеченности тех групп, на которые программа нацелена.
2) Определение степени удовлетворения потребностей, на которые нацелена программа и которые были определены на первых этапах разработки программы.
3) Удовлетворенность отдельных людей или групп проводимыми мероприятиями и т. д.
В рамках данного блока внимание направлено на социальный объект, а не на саму программу, как в первом блоке. Основными целями здесь являются определение текущей эффективности отдельных этапов программы и связанных с ними мероприятий с точки зрения удовлетворенности людей или групп, на которых она направлена, и при необходимости корректировка этих мероприятий.
Данный тип оценочных исследований, сопровождающих программу, обозначается как оценка процесса реализации.
3. Вопросы, связанные с оценкой результата
После завершения программы важной задачей является рассмотрение ее основных результатов, необходимое для того, чтобы определить, как можно работать с подобными проблемами в будущем. Здесь стоит обратить внимание на то, что в рамках оценочных исследований разводят понятия «результат» и «эффект». Под результатом программы понимают степень успешности тех или иных мероприятий программы с точки зрения соответствия их реализации разработанному проекту и/или плану. Результат в большинстве случаев можно оценить сразу, после окончания программы или даже после завершения отдельных мероприятий или этапов программы. Эффект программы
представляет собой вклад данной программы в решение проблемы, улучшения в рамках той проблемной ситуации, на которую изначально была ориентирована программа. В большинстве случаев эффект можно оценивать как в краткосрочной перспективе (т. е. после окончания программы), так и в долгосрочной перспективе, длительность которой также, как правило, определяется в ходе исследования.
Оценочные исследования, связанные с определением эффектов программ, относят к результирующим оценочным исследованиям.
Дизайн оценочного исследования
Термин «дизайн» пришел в российскую социологию из западной традиции. Это понятие близко к привычному для нас термину «программа исследования». Главная цель, которая ставится при разработке дизайна исследования, — продумать и описать основные этапы исследования. Основу дизайна составляет ряд элементов:
1) характеристика информации, которую необходимо собрать;
2) источники информации, способы формирования выборки;
3) методы сбора информации;
4) организационный план, отражающий сроки исследовательских работ;
5) схема анализа информации и т. д.
Рассмотрим подробнее основные этапы дизайна.
Этап 1. Постановка вопросов
Разработка дизайна исследования всегда начинается с постановки исследовательских вопросов, которые в дальнейшем будут служить важнейшим ориентиром при планировании всех процедур. Выше уже были представлены основные вопросы, связанные с оценочными исследованиями. Но, безусловно, эта стадия уникальна в каждом исследовании, вопросы определяются конкретной ситуацией. Поэтому здесь остановимся на кратком рассмотрении процедуры выработки исследовательских вопросов. В рамках данной процедуры постановка вопросов разворачивается в два этапа. Вначале разрабатывается максимальное количество вопросов, и сама проблема рассматривается в широкой перспективе. Затем, в рамках этого же этапа, вопросы конкретизируются с привязкой к разработке конкретной программы или программ. На втором этапе уже более узкие и конкретные вопросы оцениваются с точки зрения ресурсов, доступных в рамках исследовательского проекта. Для разработки вопросов применяется большой спектр методов: дискуссии, мозговой штурм и его варианты, SWOT-анализ и т.д. В результате формируются вопросы, на которые возможно ответить в рамках данного исследования с учетом имеющихся ресурсов.
Этап 2. Выбор стратегии исследования
Выбор стратегии исследования является основной стадией формирования дизайна. На данном этапе определяются основные характеристики и методы исследования, формируется выборка. Рассмотрим основные элементы, которые определяют выбор стратегии исследования.
Цель исследования тесно связана с исследовательскими вопросами. В рамках оценочных исследований выделяют несколько типов целей: описательные, нормативные и цели, связанные с оценкой эффективности программы. Каждой цели соответствует определенная стратегия. Подробнее данный вопрос будет рассмотрен ниже.
Определение выборочной совокупности. В рамках оценочных исследований данная процедура имеет свои особенности.
Во-первых, здесь важно определить, на какую группу участников программы будет нацелено исследование. В зависимости от участия в программе выделяют три основные группы:
1) Носители проблемы: представители определенной социальной группы, чью проблему призвана решить данная социальная программа или чьи потребности будут удовлетворены в рамках программы. При формировании выборочной совокупности исследователю важно определить, будут ли затронуты представители всей группы или только участники программы, насколько доступны представители группы и т. д.
2) Персонал программы: весь штат, задействованный в процессе реализации программы и отвечающий за ее разработку и реализацию.
3) Капиталодержатели (stakeholder): люди или группы, заинтересованные в данной программе и способные оказать поддержку или повлиять на реализацию программы.
Во-вторых, важно определить цели работы с каждой из выделенных групп. В рамках оценочных исследований это может быть как традиционный сбор информации, так и вовлечение представителей тех или иных групп в проведение исследования или процессы реализации программы.
Определение стратегии исследования. Стратегия исследования определяется на основе проработки вышеперечисленных элементов дизайна и с учетом важнейших ресурсов (время, стоимость, опыт команды исследователей).
После разработки дизайна обязательно следует этап пилотажа, в рамках которого проверяется соответствие дизайна типу исследования, его целям и вопросам.
Основные стратегии оценочных исследований
В оценочных исследованиях, как и в практике социологических исследований вообще, выделяют несколько стратегий исследования. Ниже в таблице приведены наиболее распространенные стратегии с точки зрения целей и основных элементов дизайна исследования:
Стратегии сбора информации в рамках оценочных исследований
Стратегия Тип целей Элементы дизайна исследования
Тип выборки Тип информации
Массовые опросы Описательные Нормативные Преимущественно количественная Вероятностная
Case study Описательные Нормативные И количественная, и качественная Целевая
Эксперимент Описательные Нормативные Оценка эффекта И количественная, и качественная Вероятностная Целевая
Вторичный анализ Описательные Нормативные Оценка эффекта И количественная, и качественная Вероятностная Целевая
Как видно из таблицы, в основе каждой стратегии лежит определенный метод исследования, позволяющий получить информацию определенного типа. В настоящей статье мы не будем рассматривать данные методы, так как они достаточно полно описаны в специальной литературе, посвященной эмпирическим социологическим исследованиям. Отметим только, что в данном случае традиционные привычные методы выступают как стратегии. Это связано с тем, что в рамках оценочных исследований, как правило,
З09
каждый из методов является ведущим, но для повышения валидности исследования всегда дополняется элементами других стратегий.
На современном этапе развития оценочных исследований начинает также широко использоваться и стратегия с включением интервенции. В последнем случае цель исследования состоит не только в сборе и анализе информации, но и во включении в эти процессы самой исследуемой группы. Основными результатами таких стратегий становится изменение поведения групп в строну, необходимую для улучшения социальной ситуации.
В заключение отметим, что изменение и улучшение условий социальной жизни в большинстве сфер зависит от степени активного их изучения и коррекции. Безусловно, развитие самих социальных программ и сопровождающих их исследований является важным и перспективным полем деятельности в рамках прикладной социологии.
Литература
1. Patton M. Q. Utilization-Focused Evaluation: The New Century Text. Beverly Hills: Sage Publications, 1997.
Статья поступила в редакцию 26 июля 2010 г.
